Beliau pertama kali menginjakkan kaki di Hindia Belanda pada 25 Februari 1829 sebagai seorang sersan kavaleri pasukan Belanda. Akan tetapi kemudian ia menunjukkan ketertarikannya terhadap dunia kebahasaan.

Herman ditugaskan kerajaan Belanda pada 1856 menghimpunkan suatu buku nahu dan kosakata Melayu-Belanda untuk kegunaan mereka apabila pakar-pakar bahasa sebelumnya seperti Dirk Lenting dan J. D. G. Schaap (1830-an) serta Roorda van Eysinga (1840-an) gagal berhasil menyelesaikan karya yang mampu memuaskan pihak ini.[2] Pihak Hindia Timur khususnya merancangkan pertemuan dengan seorang penulis terkemuka zaman itu yakni Raja Ali Haji yang pada ketika ini begitu mendapat perhatian hasil pengkaryaan sajak hikayat dikarang pada dekad 1840-am. Pada waktu sama juga, kelengkapan teknologi cetak batu diperkenalkan di Pulau Penyengat sebagai persediaan sebelum mereka dapat bertemu pada tahun berikutnya.[3] Dalam perjalanan merakam kata-kata Melayu, beliau banyak menyalin naskhah-naskhah sastera Melayu penting seperti Syair Nyamuk dan Lalat, Hikayat Muhamad Hanafiah dan Hikayat Nakhoda Muda.[2]

Pada tahun 1860-an, kamus Melayu-Belanda keluaran pertama akhirnya terbit sebanyak 3,050 eksemplar di Hindia Belanda. Tetapi kamus keluaran pertama ini hanyalah sebagian kecil dari jerih payahnya selama dua puluh tahun. Sementara itu, naskah kamus peninggalan de Wall versi yang lebih lengkap diterbitkan pada 1877 dengan disunting oleh H.N. van der Tuuk, yang juga seorang ahli bahasa terkemuka di abad ke-19.[2]